InferScale: GPU-Native KV Injection for Personalized LLM Serving
InferScale：GPU 原生的 KV 注入式个性化 LLM 推理系统
🧭 LLM 推理优化 · KV 缓存复用 ★ 深度解读
Northeastern University
通过 GPU 驻留的记忆 KV 缓存与 Chunked RoPE，使 TTFT 几乎不随检索上下文增长，吞吐提升 3.7–4.5×
📌 工作参考价值（4 点）
- 对电商 / 搜索推荐场景中频繁复用的用户画像、历史行为摘要等静态上下文，可离线编码为 KV 缓存，在线直接注入，避免每次请求都重新预填充，大幅降低首 token 延迟。
- Chunked RoPE 方法允许记忆块以任意位置组装注入，支持动态检索拼装，适合排序或对话中按查询相关性动态选择用户记忆的场景。
- 上下文窗口编码可在离线阶段保留记忆块之间的局部依赖，还原近乎联合预填充的准确性，同时保持在线零额外开销；在推荐理由生成或对话式推荐中可提升事实一致性。
- 实现采用 vLLM 的 KV-connector 接口，无需修改推理引擎或模型微调，易于在现有 LLM 服务栈中集成，降低落地成本。